Theo cuốn hồi ký của ông, Lý Quang Diệu là thế hệ thứ tư thuộc một gia đình người Khách Gia định cư tại Singapore. Ông cố Lý Mộc Văn (Lee Bok Boon – 李沐文) (sinh năm 1846), rời bỏ quê nhà thuộc huyện Đại Bộ, tỉnh Quảng Đông để đến Singapore vào năm 1863[1]. Ông lấy con gái của một ông chủ hiệu là Seow Huan Nio, và đã trở về Trung Quốc vào năm 1882, bỏ lại vợ và ba đứa con. Lý Mộc Văn đã xây dựng một thái ấp nhỏ ở quê nhà và mất 2 năm sau đó.[2][3]

Ông của Lý Quang Diệu tên là Lý Vân Long (Lee Hoon Leong - 李雲龍), sinh tại Singapore năm 1871, lúc đó đang là thuộc địa Anh. Ông đã được hưởng nền giáo dục ở Anh tại Học viện Raffles, và trở thành người chuyên bào chế thuốc không hợp pháp, sau đó chuyển sang làm người phụ trách tài chính trên tàu hơi nước được sở hữu bởi một chủ người Hoa, Oei Tiong Ham.[1].Lý Vân Long, ở tuổi 26 đã lấy Ko Liem Nio, lúc đó 16 tuổi tại Semarang, Java, thuộc địa Đông Ấn Hà Lan (Hiện tại thuộc Indonesia).[2]Đây là cuộc đám cưới được gia đình 2 bên sắp đặt theo phong tục truyền thống. Gia đình 2 bên đều thuộc tầng lớp trung lưu. Cả cô dâu và chú rể đều được hưởng nền giáo dục Anh quốc. Ông ngoại Lý Vân Long sở hữu bất động sản và việc mua bán cao su tại đường Orchard[3]. Lý Vân Long cuối cùng trở thành giám đốc quản lý của công ty Heap Eng Moh Steamship.[1]

Ông Lý Vân Long có hai người vợ, là việc bình thường vào thời đó, là cha của 5 người con gái và 2 người con trai. Con trai của ông là Lý Tiến Khôn (Lee Chin Koon - 李進坤) cũng đã được hưởng nền giáo dục Anh quốc sau đó đã lấy Thái Nhận Nương (Chua Jim Neo - 蔡認/认娘), là mẹ của ông Lý Quang Diệu. Lý Quang Diệu chào đời trong một nhà lều rộng và thoáng tại số 92 đường Kampong Java, Singapore. Ngay từ khi còn bé, văn hoá Anh đã có ảnh hưởng đậm nét trên Lý, một phần là do ông nội, Lý Vân Long, đã cho các con trai của mình hấp thụ nền giáo dục của Anh. Cũng chính ông nội đã cho cậu bé Lý tên Harry để thêm vào tên Quang Diệu mà người cha đặt cho con mình.

Tài sản của ông Lý Quang Diệu bị tiêu tán do ảnh hưởng của cuộc Đại khủng hoảng, và do đó làm cho cha ông, Lý Tiến Khôn trở thành một chủ cửa hiệu nghèo[3].

Ngày 30 tháng 9 năm 1950, Lý Quang Diệu kết hôn với Kha Ngọc Chi. Cả hai đều sử dụng tiếng Anh như là ngôn ngữ mẹ đẻ. Ông Diệu do không sõi tiếng Trung Quốc nên đã bắt đầu học tiếng Trung Quốc vào năm 1955 ở độ tuổi 32.[4][5]. Ông Diệu lúc trưởng thành mới bắt đầu học tiếng Nhật và làm phiên dịch cho người Nhật trong khoảng thời gian Nhật Bản chiếm đóng Singapore[1][6].Họ có hai con trai và một con gái.[7]

Vài thành viên trong gia tộc Lý đảm nhiệm những vị trí quan trọng trong xã hội Singapore, các con trai và con gái của ông hiện giữ các chức vụ cao cấp trong chính quyền hoặc liên quan đến chính quyền.

Cậu con cả, Lý Hiển Long, cựu chuẩn tướng quân đội, từ năm 2004 là Bộ trưởng Tài chính và nay là Thủ tướng đương nhiệm. Lý Hiển Long cũng là Phó chủ tịch Ban quản trị Công ty Đầu tư Singapore (Lý Quang Diệu là chủ tịch).

Ho Ching (Hà Tinh), vợ của thủ tướng Lý Hiển Long, là giám đốc điều hành của Tamasek Holdings.[8][9]

Con trai thứ của ông Lý – Lý Hiển Dương, cựu chuẩn tướng, hiện là chủ tịch và tổng giám đốc của Sing Tel, một tập đoàn truyền thông xuyên châu Á, cũng là công ty lớn nhất trong thị trường tư bản (liệt kê trên thị trường chứng khoán Singapore, SGX). Bảy mươi hai phần trăm cổ phần của Sing Tel thuộc quyền sở hữu của công ty Temasek Holdings, một công ty đầu tư của chính phủ có cổ phần nắm quyền kiểm soát tại những công ty có liên hệ với chính phủ như Singapore Airlines và ngân hàng DBS.

Con gái của ông Lý, Lý Vĩnh Linh, lãnh đạo Viện Khoa học Thần kinh Quốc gia, đến nay vẫn sống độc thân. Vợ của Lý Quang Diệu, bà Kha Ngọc Chi từng là thành viên của công ty luật nổi tiếng Lee & Lee. Các em trai của ông, Dennis, Freddy và Suan Yew đều là thành viên của công ty luật nói trên. Ông có một em gái tên Monica.

Lý Quang Diệu luôn bác bỏ mọi cáo buộc về gia đình trị, cho rằng những vị trí đặc quyền mà các thành viên trong gia đình ông có được là nhờ những nỗ lực bản thân.